重构智能体图像编辑：扩展动作与观察空间
🧭 Agent 动作/观测空间扩展与并行评判
UC San Diego · Adobe Research
并行调用多类编辑器、为候选附验证记录并用 VLM 列表式评判，提升成功率并降低 judge 调用
📌 工作参考价值（4 点）
- 在生成式推荐、文案/主图生成 Agent 中，避免单一模型反复 retry：并行生成不同模板/模型/策略的候选，再用 Listwise 比较一次筛选；原文显示并行比顺序精修在 78.5% 的已决定比较中更受专家偏好，且 judge 调用至少减半。
- 为每个候选附结构化 verification record（变化图、局部前后对比、mask、数值统计、代码核验事实等），off-the-shelf VLM 就能超过 finetuned reward model；迁移到电商场景时，可为候选附上价格/利益点一致性、属性匹配、CTR 预估等证据。
- 评判器扩展 observation space 比 finetune reward model 更划算：用规则/代码/检索结果生成证据，提升 VLM judge 的可靠性，尤其是没有稳定 GT 的生成任务。
- 可作为 data engine：用 Agent 并行生成多候选 + VLM judge 构建偏好对，蒸馏训练更强的生成式推荐或文案模型。
基于SVG原语的多模态推理框架 SVGLM
🧭 多模态推理 · SVG 程序生成
University of Massachusetts Amherst · University of Michigan · University of Illinois Urbana-Champaign · Dolby Laboratories
利用SVG作为文本与图像中间表示，让VLM在推理过程中生成可解释的图像程序
📌 工作参考价值（4 点）
- 将图像编辑/生成任务转为 SVG 程序输出，可精细控制元素坐标、颜色、几何关系，适合电商商品图、广告模板自动化生成与多轮修改。
- 利用 SVG 的双重性（既是图像描述又是文本指令），可设计 “think-with-image” 链：先生成 SVG 示意图辅助推理，再输出最终答案，提升图表解析、几何布局类任务的稳定性。
- 微调范式可复用：收集领域内“文本指令-图像编辑对”，用开源 VLM 训练生成 SVG 代码，并与自然语言推理任务混合训练，避免外部扩散模型不可控。
- 在需要精确理解图像结构（如优惠券布局、信息图审核）的场景，可以要求模型输出 SVG 表示进行可验证解析，而不是依赖像素级预测。
多模态智能体图像生成与编辑全栈方案
🧭 多模态 Agent 图像生成编辑全栈
Weixin AI, Tencent
提出全栈式多模态 Agent 方案，含运行时、数据、基准与后训练，30B总/3B激活策略逼近1T参数 agent 性能
📌 工作参考价值（4 点）
- 在电商商品图/营销素材生成 Agent 中，借鉴其「持久证据管理 + dense carrier」设计：将商品属性、品牌规范、历史文案等检索到的多模态证据沉淀为统一上下文，避免每轮重复检索，提升多轮编辑一致性。
- 把 verification/integration 拆成独立工具而非塞进 policy 模型，降低策略模型负载并提高可靠性；在推荐/搜索 Agent 中可加结果验证与证据融合工具，先验证再输出。
- 用三层可验证 checklist 构建 RL 奖励，解决生成/推荐任务难以自动打分的痛点；可迁移到文案生成、创意推荐的离线评估。
- 小参数策略（3B active）通过 SFT+RL 后训练接近大模型，适合线上成本敏感场景；数据构造上优先合成 prompt + agent trajectory，再 SFT 后 RL。
Aphanta：诊断任务对齐的图像编辑中间产物在多模态推理中的效用
🧭 多模态推理 · 图像编辑中间产物诊断
Fudan University · StepFun · Shanghai Jiaotong University
提出闭环诊断框架 Aphanta，量化图像编辑中间产物在多模态推理中的任务条件化增益与边界
📌 工作参考价值（4 点）
- 评估生成式中间产物（如 Semantic ID、图像生成、检索文档）时，应加入 idealized reference 条件，分离上游生成器误差与下游模型能力上限，避免把生成器的失败误判为方法无效。
- 不要假设同一中间表示对所有任务都有帮助；应识别任务条件化增益的边界。在电商场景中，可先诊断哪些商品属性或查询类型适合用图像生成/编辑增强，而不是全量铺开。
- 闭环诊断协议可复用到 Agent 工具调用：自动发现候选任务，对比直接推理、工具生成中间产物推理、理想化中间产物推理三种条件，量化工具的真实贡献与失效模式。
- 从结果看，图像编辑作为“专用视觉工作区”更适合视觉线索注入、定位和反事实状态实现；对于需要精确结构外推的任务，应避免依赖当前生成器，或引入校验环节。
UniSpace：统一视觉表示与可扩展多模态建模
🧭 统一视觉表示 · 多模态生成编辑
Meituan
提出 Patch Reparameterization，使冻结语义 ViT 同时支持理解、生成与编辑，并扩展为 8B MoE 统一模型
📌 工作参考价值（4 点）
- 可借鉴 Patch Reparameterization：在预训练语义 ViT 上增加 reconstruction-aware patch embedding，冻结主体 Transformer，低成本复用语义表征的同时保留像素细节；适合电商商品图重建、编辑和增强场景。
- 单一视觉空间同时支持理解、生成、编辑，省去独立 VAE 通路，能降低多模态模型复杂度和部署成本；在商品图像生成、广告素材编辑、多模态商品理解等任务中可探索统一 encoder。
- 8B Mixture-of-Transformer-Experts 的扩展思路可复用到多任务电商多模态模型：按任务或模态路由专家，在统一表征上做商品理解、文案配图、图片编辑。
- 评测基准 ImgEdit/DPG/OneIG-Bench 提供指令式图像编辑的系统级评估模板，可改造为电商场景的商品图编辑/文案生图评测；但对推荐、召回、排序的直接帮助有限。
面向Agent图像编辑的领域约束候选选择：阴影去除案例
🧭 Agent驱动的约束式生成编辑
Stony Brook University · UNC Charlotte
将阴影物理先验注入Agent候选生成-评估-筛选流程，显著减少幻觉并提升编辑可靠性
📌 工作参考价值（4 点）
- 借鉴 Agent 多轮候选生成-评估-筛选流程，用于自动生成商品图文描述或广告文案：先让 LLM 生成若干候选，再用领域评估器（基于规则或轻量分类器）过滤并选择最佳，提升内容质量。
- 将业务先验（如商品属性准确性、合规性）固化为提示与评估准则，约束生成模型，减少幻觉，类似论文中用物理先验界定“阴影是光照效果”的做法。
- 引入重试机制与快速失败检测：评估器发现明显违规（如描述与图片不符）时立即重新生成，避免低质输出流入下游。
- 评估器可采用轻量级方案（如关键词匹配、属性校验）替代复杂模型，在候选筛选阶段快速剔除明显错误，降低整体审核成本。
CtrlVTON：基于视觉实例提示分割的可控虚拟试穿
🧭 可控虚拟试穿 · 像素级布局控制
NXN Labs · KAIST
提出VIP-SAM实例分割与CtrlVTON图像编辑框架，首次实现试穿中服装风格、尺寸和位置的像素级控制
📌 工作参考价值（4 点）
- 可控试穿为电商商品详情页生成多样化模特图（不同穿法、松紧度），提升用户购买信心
- 配合用户偏好掩码可实现个性化虚拟试穿，增强推荐系统的可视化吸引力与解释性
- VIP-SAM分割能力可用于UGC图片中自动识别同款服装，辅助搭配推荐与社交电商
- 像素级控制思想可迁移至家居、美妆等场景，为生成式推荐提供更精细的可控生成能力
文本-视觉协同指令的图像编辑
🧭 文本视觉协同的图像编辑
The Hong Kong Polytechnic University · OPPO Research Institute
融合文本语义与拖拽/点击等视觉指令，实现空间可控且语义保真的图像编辑
📌 工作参考价值（4 点）
- 文本与视觉提示协同的思路可借鉴到多模态商品检索，如允许用户上传图片并辅以文字说明区域编辑意图，提升交互精准度
- 利用视频帧间差异自动构建编辑指令对的数据构造方法，可迁移到商品视频生成任务中，用于获得带空间标注的训练数据
- TV-Edit-Bench 的多维度评估（语义忠实度、空间对齐、视觉一致性）可启发电商图像编辑场景的离线评估指标设计
- 将稀疏视觉指令提升为语义感知控制表示的模块化设计，可启发多模态推荐中融合细粒度空间意图的架构
CollectionLoRA：将50种效果及加速能力蒸馏进单一LoRA
🧭 多LoRA合并与蒸馏
Zhejiang University · Qwen Applications Business Group of Alibaba · Xi'an Jiaotong University
多教师在线蒸馏框架，将多个效果LoRA与少步生成合并为一个LoRA，消除参数干扰并降低部署成本
📌 工作参考价值（4 点）
- 多任务LoRA合并部署：若业务中存在多个LoRA用于不同下游任务（如客服、商品描述生成、搜索改写等），可借鉴多教师蒸馏将多个LoRA的知识压缩到单一LoRA中，减少动态加载开销，并避免级联多个LoRA时的特征干扰。
- 随机数据流切换增强泛化：Probabilistic Dual-Stream Routing 在训练时随机切换数据源，类似技巧可用于多任务推荐模型的训练，通过在不同任务数据流间随机切换，提升模型对未见任务组合的泛化能力。
- 提示空间概念隔离：Asymmetric Orthogonal Prompting 通过正交提示隔离不同概念，此思想可迁移到生成式推荐中的多属性控制，例如用正交提示向量区分“风格”与“品类”，避免生成时属性混淆。
- 粗到细蒸馏缓解分布差距：Coarse-to-Fine Distillation 从输出分布粗对齐逐步过渡到特征细对齐，可应用于推荐模型蒸馏，尤其当教师模型远大于学生模型时，分阶段对齐有助于提升蒸馏效果。